Ngày 3 tháng 11 năm 644, Umar ibn al-Khattab bị một người lính Ba Tư, Pirouz Nahavandi ám sát.

Omar qua đời vào ngày 26 tháng Dhuu'l Hijja năm thứ 23 (theo lịch Hồi giáo), tức năm 644 theo Tây lịch, hưởng thọ 63 tuổi. Dhuu'l Hijja là tháng định mệnh của Omar, nó đánh dấu thời điểm ông gia nhập Hồi giáo đồng thời nó cũng là tháng mà ông qua đời.

Umar ibn al-Khattab đã được an táng bên cạnh ngôi mộ của Abu Bakar, mộ của cả hai vị này đều nằm ở bên trái mộ của nhà tiên tri Muhammad. Omar đã trở thành một người tử vì đạo.

Omar đã mất đột ngột, không kịp lựa chọn người kế vị cho mình. Tuy nhiên, giữa những người được xem là xứng đáng và có đủ tư cách lãnh đạo trong số sáu người kề cận của Omar (Othman bin Affan, Ali ibn Abu Talib, Talha, Zubayr, Abder Rahman Ibn Aawaf và Saa'd ibn Abu Waqqac),[6] mọi người thấy ông Othman là người nổi bật nhất.